ความรู้เบื้องต้นเกี่ยวกับการสร้างแบบจำลองลำดับ: ข้อมูล ลำดับ และ พลวัตเชิงเวลา

ในแวดวงของปัญญาประดิษฐ์ การสร้างแบบจำลองลำดับได้เปลี่ยนจุดสนใจจากภาพนิ่ง ไปสู่ กระแสข้อมูลเชิงเวลา. งานด้านแมชชีนเลิร์นนิงทั่วไปมักสมมติว่า จุดข้อมูลนั้น เป็นอิสระและมีการแจกแจงเหมือนกัน (IID)ซึ่งหมายความว่าลำดับของ ตัวอย่างไม่มีผลต่อผลลัพธ์

การสร้างแบบจำลองลำดับปฏิเสธแนวคิดนี้อย่างชัดเจน โดยมุ่งเน้นที่สามเสาหลัก:

• การละเมิด ความไม่แปรเปลี่ยนตามการสลับตำแหน่ง: ในข้อมูลแบบตาราง ลำดับคอลัมน์เป็นเรื่องตามอำเภอใจ แต่ในลำดับ ลำดับคือคุณลักษณะหลัก การสลับ "The cat ate the rat" เป็น "The rat ate the cat" เปลี่ยนแปลง ความจริงเชิงความหมายพื้นฐาน อย่างสิ้นเชิง แม้ว่าโทเค็นจะเหมือนกันก็ตาม
• ออโตรีเกรสซีฟ คุณสมบัติ: เราสมมติว่าการสังเกต ณ เวลา $t$ มีเงื่อนไขทางคณิตศาสตร์กับประวัติของมัน ($t-1, t-2, \dots, 1$) สิ่งนี้จำเป็นต้องใช้ความน่าจะเป็นของการเปลี่ยนผ่านเพื่อจับว่าข้อมูลวิวัฒนาการอย่างไร
• การแมปความยาวผันแปร: แตกต่างจากกริดพิกเซล 28x28 แบบคงที่ ลำดับเช่นประโยคหรือ คลื่นแผ่นดินไหวนั้น ยืดหยุ่น. โมเดลต้องประมวลผลอินพุตที่มีความยาว $N$ และสร้าง เอาต์พุตที่มีความยาว $M$ โดยใช้พารามิเตอร์ที่สอดคล้องกัน